本章はLearning Oriented Assessment (LOA)を全面的に実施する上での課題について取り扱う。

まず，イギリスにおいて言語評価の新たな枠組みを提供しようと試みたが，失敗に終わったAsset Language projectの教訓に焦点を当て，実施上の問題点を説明する。

最後に，Cambridge English examsを導入した州や地域のコンテクストにおけるimpact studiesについて説明し，今後の課題について議論する。

比較的最近発達した教育に関する政策決定の一つは，国同士の成果の比較が可能な国際的な参照枠である。

これは，政府が自身の教育システムの良さを示そうとする意欲の表れである一方で，課題もある。

国際的な参照枠の背景にはPISA (Programme for International Students Assessment)，TIMSS (Trends in International Mathematics and Science Study)，PIRLS (Progress in International Reading Literacy Study)，PIAAC (Programme for the International Assessment of Adult Competencies)，ESLC といった機関の国際調査の成果があるものの，それが示すのは一部分である。

近年では，これらの機関の調査結果が国同士を比較したり，国内の教育成果を評価するための指標として過度に注目を浴び，役割が支配的になっているとの批判もある (Alexander, 2012; National Research Council, 2003)。

この問題の中心にあるのは，政策決定者が自国の教育成果の良し悪しを他国と単純に比較し解釈する傾向である。

政策決定者は，エビデンスに基づく政策を推奨している(Section 8.4参照)にもかかわらず，良い学習を生み出すことが目的になると，使用されるエビデンスは国際調査の結果を拡大解釈しているケースがほとんどである。

もし我々がLOAのecologicalなモデルを実施しようとするのであれば，本章は政策決定者とコミュニケーションを取るための重要なメッセージである。

同時に，ESLCは本書で言及してきた言語学習のモデルと一貫した見解を発表している。これについてJones (2013, p.5)は以下のように要約した。

言語は，ネット上でのコミュニケーションや，TVを見るとき，休日の旅行など，学校の外で実際に使用されるなど，学習者がその言語を有益なものだと認識し，モチベーションが高いときにより学ばれる。また，教師と生徒が教室内でその言語を使うほど，学ばれる。

教育に関する国際調査は，国によって教育を取り巻く環境（e.g., 経済，文化の認識の違い，教育の目的，ステレオタイプ）がどれだけ異なるのかも示した。

これらは，LOAを実施する際に特定のcontextを考慮に入れる必要性を明らかにしていると同時に，形成的評価の歴史を学ぶことでLOAを実施する上での障害を予測することが可能であること示している。

Black and Wiliam (1998a)は教師の評価実践に関する先行研究から3つの結論を提供している。

・形成的評価は教師からよく理解されておらず，その実践も少ない。

・国や地域での説明責任の必要性は評価の実践に大きな影響力を持つ。

・実施するには，教師が生徒や教室実践に対する自身の役割に関する認識を変える必要がある。

他の著者もLOAを実施する上で対処すべき様々な問題点をあげている。

・政策決定者と政治家は，良い教室実践を保証するように説得されるべきであり，説明責任等の理由か

ら，学習成果を不適切に使用させないようにする (Broadfood, 1996, p.39; Mansell et al., 2009)。

・政府が急に多くを改革する危険性も同時に存在する。Cumming (2009)とDavison and Leung (2009)

が指摘するように，言語学習における基準に基づくコミュニカティブな目標は，言語の熟達度をど

のように定義するかや，カリキュラムと評価の一貫性といった問題を起こさせる。

・一般的な課題は，Daugherty et al. (2008)でも指摘されたように，構成概念，つまり望まれる学習目標

に関するものである。多くの場合，これらは競合し，表記も様々である。カリキュラム内の進捗を定

義，評価するために，目標を明確化する必要があり，そのためには構成概念に目を向ける必要があ

・教師は形成的評価と総括的評価を区別しない傾向にあり，彼らの総括的評価への選好性が障害となる

・形成的という用語が，これからの学習について教師には情報を与えるが，生徒の役には立たないとい

う印象を与えてしまう可能性がある (Assessment Reform Group, 1997)。

・良い形成的評価を行うことは非常に難しく，教師の高い能力が必要である。

・よって，より良い教師教育が必要不可欠である。また，教師は全く異なる種類の評価を先導的に行う

モデルを演じなければならない (Cunning, 2009; Murray, 2008; Nunan, 2007; Brindley & Burrows,

・LOAの実施の際に，学習者へ目が向けられない可能性があるが，学習するのは学習者であり，学習

・最後に，一般市民の態度や意識は良いものではないかもしれない。Phelps (1998)によるアメリカで行

われた大規模調査の結果では，テストのために教えることやカリキュラムを狭くすることについて，それを望むという強い意見があることがわかっている。

2002年に，言語教育の主要な目標をコミュニケーション能力とする大規模な改革，National Language Strategyが始められた。

その際，評価システムを供給する契約をしたのがCambridge Englishだった。

25の言語と全てのCEFRレベルを含む熱心なプロジェクトだったが，2013年に終了した。

Asset Languageの運命は，評価の枠組みだけでは変化を生み出すことができないことをその実践から示した。改革はシステム全体や，その価値を効果的に伝えていくことを含まなければ成功しないだろう。

LOAの実施はカリキュラムデザイン，教育実践，成果の評価を一貫させ統合する。

テクノロジーは，我々を既存の教室環境から脱出させ，効率的に言語を習得するためのecologicalな環境を作ることができる。

本書では，LOAを教室内の評価と外部の大規模評価がevidence of learningとevidence for learningに貢献する統合されたシステムだと紹介してきた。

エビデンスはLOAにおける基準通貨である。テクノロジーは，エビデンスを生み出し，解釈する実用的な方法を提供する。

テクノロジーは学習のための相互行為の全段階に影響する。

ここではcreative thinking が必要となる。エビデンスは教室内で，生徒と共に作り出されるべきであり，それが次の学習へのfeedbackとなる。エビデンスを行動に繋げることが重要である。

テクノロジーはすでに学習への新たなアプローチを支援しており，従来の教室の代替案を示している。

反転教室は，教室での典型的な授業と家庭学習を反転させた教育モデルである。

このモデルは主に高等教育で応用され，マテリアルの基本的な形式はオンライン上での録画された動画である。教室での活動は，ほとんどの場合動画と同一人物によって行われる。

教師の主な役割はグループワークを活性化させることである。そうすることで生徒はアイデアを共有し，自身の理解を確認し深めることができる。

近年発達した遠距離学習はMOOCs(Massive Open Online Courses)である。MOOCsは，無制限の参加者，webを利用したオープンアクセスを目的としている。

MOOCsは従来のビデオやリーディング教材も提供することができるが，最も特徴的なのは学習者と教師が交流できるvirtual learning communityである。

ITや教育課程を背景にもつ企業は，個人のニーズに合わせ個人化させた適応型学習システムを提供し始めている。

適応型学習はLOAの理論と実践に関連している。本書で扱った学習プロセスは適応型学習の背後にあるアルゴリズムで機能する。

莫大なデータの収集，分析は専門家，教師，学習者のinteractionのパターンを発見することができ，学習の個人化に必要なフィードバックを提供する。

Positive impactの概念は，評価はpositiveな効果を最大化させることが義務であり，negativeな効果を最小化するという前提があった (Saville, 2009)。

Impactは主に量的に研究されてきたが，質的な教室内での相互行為へのImpactの評価も重要である。

LOAのモデルは，時にテクノロジーを用いて，教室のデータを拡張することが目的であり，情報量が豊富なデータはさらなる学習へのフィードバックを提供する。したがって，LOAを導入することは，理論的な枠組みとデータモデルを研究にも求めることになる。

次のセクションでは，impactに関する研究の方法論的アプローチを説明する。Salamoura, Khalifa, Docherty (2014)はpositive impactの概念の開発や，その背景を提示している。

Bachmanはテストの質としてのimpactを提唱した研究者の一人である (Backman & Palmer, 1996)。

Milanovic & Saville (1996)はPositive impactを達成するためのモデルを提示している。

Planはテストシステムの開発を意味し，振り返りや必要に応じた修正を意味する (Cambridge, 2013)。

SupportはすべてのStakeholderが国際的なテストに向けて学習や教授に関わることを意味する。

CommunicateはStakeholderに適切な情報を与えることに関するものである (Cambridge, 2013)。

Monitor and evaluateはテストのパフォーマンスや特定の文脈状況を収集するために必要不可欠なものである。

Saville (2009) はimpactに関する研究を効果的に行うための枠組みを提供している。そのモデルの鍵となる概念は以下の通り。

・Test construct: Messick (1996)にある波及効果をもとにしたデザインである。5.2で記述したように，

テスト開発やその妥当性は，明示的な構成概念に基づいているべきである。

・Teat delivery systems: 様々な教育的状況で効率的にテストを運営するために，テストの構成概念に関

・Context: 9.2で説明したように，文脈は教育課程を調査する上で重要なものである。文脈と

stakeholderの役割を理解することは，優先されるべきものである (Tylor, 2000)。

・Timeline: 新しい文脈でのimpactを理解するためには，長期的な計画が必要である。

現テストのimpactを評価するリサーチデザインに表れる認識論的原理は，批判的実論主義的な立場を反映する (Sayer, 19984)。

Impactは，テストが使用される文脈を決定するリサーチパラダイムの中に位置する (Robson, 2002)。Researchはbottom up的に，すなわち個人の視点から，一般的な解釈をしていく。

また，Impactを研究する集団の構成も重要である。テストの提供者とlocal researcherの協力が必要不可欠である。母集団のミクロ，マクロ両方の視点からの見識をえることができる。

Ashoton et al (2012)とSalamoura (2013)の2つの研究は教育の文脈という点において関連している。

彼 (女) らは， localな文脈における言語学習を目的とした外部試験の導入を調査している。RQsは以下のものであり，共通したものであった。

・What is the impact of the test/new initiative on key stakeholders, namely, teachers and learners?

これら2つが共通して持っている構成概念は，教授・学習・評価への態度，学習者と教師のモチベーション，学習者の進歩，教育実践，親の関与である。また，これらの研究はmixed methodのデザインを用いている (Creswell & Plano, 2011)。

量的には，調査 (survey)とテスト得点，質的にはインタビューが行われた。2つの研究は，Cambridge Englishとlocalの教師が協力して行われた。

本書で扱ってきたLOAは理論，つまり原理に基づいている。実施を成功させるには理論的根拠が必要であると我々は信じている。Figure9.1は本書のまとめである。

Stanceは試験の持つ視点や立場である。我々の評価へのアプローチに関する情報を提供する基本方針である。

Language policyは政府によって形作られる。もし目標や立場を共有していれば，テストの支援を受け入れることを許可する。

A theory of actionは合理的，連続的で，一貫した実施を求める。これは様々な側面をもち，教室レベルでは，教師は社会文化的，構築主義的な原理を理解し，適応する必要がある。より一般的には，theory of actionはビジネスや学校などを研究する複雑性理論[1]に基づくべきである。

Learning Oriented Assessmentは，本書で扱ってきた，より良い学習を目的としたシステムである。

Implementationでは，教師のトレーニング，カリキュラムやマテリアルの開発，教室と外部試験の統合といった一連の協調が必要である。

Monitoring progress and giving feedbackはLOAのシステムに含まれており，学習の改善をもたらす。

Impact studiesはプロジェクトの最終的な成功のエビデンスを提供する。しかし，複雑系にもあるように，正確な予測は不可能である。

・学校はコミュニティであり，学習は社会的プロセスであること。

・学習は，現在は将来の学習に必要不可欠な態度や性質 (dispositions)，技能の発達であること。

・指導と評価の目的は，一貫した特定の望まれる結果であること。

・言語学習は，重要な意味をやりとりする，目的のある言語使用であること。

・タスクにはやりとりの真正性 (interactional authenticity)があること。つまり，学習者の認知はコミ

ュニカティブタスクに意識が向き，良い評価を得ようとしていないこと。

・教室内相互行為から得られたエビデンスは，さらなる学習のためのフィードバックであること。

このような原理を支持し，LOAを実施するための適切なトレーニングを行うことで，教員は以下のような力を身につけることができる。

・高次の学習結果と特定のカリキュラムの目標が，目的や構成概念といった点で一貫したものとして設

・evidence of learning とevidence for learningを引き出すためにそれら評価を利用できる。

・これらのエビデンスはシステマティックな方法で収集し，適切に解釈できる。

・学習者のZPDの範囲内で必要な足場掛けをしたり，個人の学習者に必要なフィードバックを与え

・究極的には，学習者が持つ学習するための能力を築き，より良い学習と結果を生み出す。

[1] 複雑性理論(complexity theory): 相互に関連する複数の要因が合わさって，全体としてなんらかの結果を見せる系であるが，その全体としての結果は個々の要因や部分からは明らかにできないもの